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摘 要 : 针对 未 知 概率 分 布 类 型 的 测量 数据 ， 采 用 最 大 粹 方法 可 以 确定 被 测量 含有 最 少 人 为 主观 假设 的 概 
率 分 布 . 但 经 典 最 大 炉 方 法 由 于 其 密度 函数 的 数学 形式 导致 全 局 优化 难度 较 大 ， 计 算 结果 难以 满 
足 概 率 密度 函数 基本 性 质 ， 需 要 截断 及 归 一 才能 使 用 ， 本 文通 过 引入 概率 密度 核 估计 方法 ， 对 最 
大 粹 方法 进行 了 改进 ， 简 化 了 计算 过 程 ， 并 证 明了 改进 后 计算 结果 能 够 满足 概率 密度 函数 基本 性 
质 ， 最 后 通过 算 例 说 明了 该 方法 的 有 效 性 . 
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1 引言 


RAMIE MEM (Maximum Entropy Method) 是 Jaynes 于 1957 年 提出 的 一 种 可 处 理 不 完 
全 信息 的 方法 , 利用 信息 论 中 业 的 概念 来 尽量 避免 主观 因素 对 推断 的 影响 是 . 对 于 只 有 测量 数据 
的 情况 , 如 果 没 有 充足 的 理由 认为 其 服从 某 种 概率 分 布 , 则 可 通过 最 大 粹 方法 确定 出 其 最 不 带 
倾向 性 的 分 布 形式 及 参数 由, 且 运 用 最 大 粹 原理 得 到 的 密度 函数 是 被 测量 的 最 小 偏差 估计 [3]. 

经 典 最 大 糯 方法 利用 拉 格 朗 日 乘 子 法 导出 了 概率 密度 函数 估计 的 解析 形式 ， 并 构造 优化 问 
题 . 但 该 估计 的 解析 形式 对 优化 求解 产生 了 一 定制 约 ， 计 算 结 果 难 以 满足 概率 密度 函数 的 基本 
性 质 ， 甚 至 存在 不 严格 可 积 的 现象 ， 这 时 往往 需要 截断 及 归 一 处 理 后 才能 使 用 本文 提出 了 一 
种 结合 密度 函数 核 估 计 的 最 大 入 方法 ， 该 方法 利用 密度 核 估计 函数 能 够 收敛 于 任何 复杂 密度 函 
数 的 性 质 ， 对 上 述 优化 问题 进行 了 重新 描述 ， 在 粹 值 最 大 意义 下 给 出 了 满足 约束 条 件 的 被 测量 
密度 函数 估计 ， 能 够 避免 经 典 最 大 烂 方法 存在 的 问题 . 


2 最 大 炉 方 法 基本 原理 及 问题 


最 大 粹 方法 是 按 最 大 粹 原理 求解 不 适 定 问 题 的 方法 h 引 .具体 地 ， 随 机 变量 zx 的 概率 密度 函 
Zr pla) BHL DAP XE XN 


H(p) = — 上 p(z) In p(z) dz, (1) 


收 稿 日 期 : 2009-09-24. 作者 简介 : 刘 钰 (1982 年 11 月 生 ), 男 , 硕士 , 助理 研究 员 . 研究 方向 : 武器 系统 评估 技术 . 


286 r E 数 学 学 od 第 28 关 
其 中 有 R 为 积分 空间 四 ， 则 优化 间 题 可 以 描述 为 


max — H(p-- L p(x) ln p(x) dz 


- ] 5 - (2) 


其 中 M; SB BEI ROB. mS PL E rS ERE BUT. 通过 调整 p(z) [E HORIEDGA SUCK HR, X 
用 拉 格 朗 日 乘 子 法 可 以 解 得 


f(x) = exp (2o F Y Na), (3) 
il 


ESL RS FELESCA ESL RE HE PERCHE SX. RAS (3) 式 并 结合 (2) 式 中 的 矩 约束 条 件 ， 可 进 
一 步 建立 求解 入 1， 和 2， QUEE Àm 的 m 个 方程 组 


M; = [ze Ge (4) 


f (2 Nizi )dz l 
在 数值 求解 中 ， 可 将 (A) 式 中 的 非 线性 方程 组 转化 为 非 线性 优化 问题 ， 令 
n exp ( x Nada 
mf exp (E Nat)àz 


Ri 为 残 差 ， 用 无 约束 非 线性 优化 方法 可 以 求 出 这 些 残 差 平方 和 的 最 小 值 . 

-EXR Zr E nf A xe h Tec NC E RE ECC (m) 的 参数 Xi, X?…… ,Xm， 再 将 (3) 代 入 (2) 式 中 的 
归 一 化 条 件 ， 可 以 解 出 和 0， 参见 文献 [6]. 参数 Xi, X?)… , Am 初 值 的 选择 对 求解 的 收敛 相当 重 
要 ， 初 值 确定 不 当 ， 可 能 会 导致 求解 失败 或 搜索 不 到 全 局 最 优 解 中 ， 特 别 是 当 m 取 值 较 大 时 ， 
密度 函数 F(x) 的 数学 形式 会 给 求解 过 程 带 来 不 小 的 困难 . 另外 ， 在 实际 应 用 中 ， 归 一 化 条 件 往 
往 无 法 满足 ， 以 3 阶 矩 最 大 燃 方 法 计算 结果 为 例 ， 在 某 些 参数 条 件 下 该 方法 得 到 的 密度 函数 曲 
线 ， 如 图 1 所 示 . 

显然 ， 无 论 被 测量 数据 偏 度 情况 如 何 ， 都 可 能 出 现 密度 函数 曲线 一 侧 陡 增 的 情况 ， 这 样 的 
曲线 是 不 可 积 的 ， 需 要 对 计算 结果 截断 及 归 一 后 才能 作为 概率 密度 函数 使 用 ， 这 样 ， 势 必 增 大 
了 估计 的 偏差 . 


Rj21- 


3 ”基于 密度 核 估计 的 最 大 炳 方法 
在 符合 最 大 炳 方法 思想 的 情况 下 ， 被 测量 的 概率 密度 估计 (zx)， 如 果 能 够 满足 密度 函数 的 
一 般 性 质 ， 
Too 
) »mzo 2 f podz=l 
则 可 以 显著 减少 截断 误差 . 通过 引入 密度 函数 核 估计 方法 ， 这 种 设想 即 可 实现 . 密度 核 估 计 方 


法 可 以 较 好 地 应 用 于 规则 分 布 或 不 规则 分 在 ， 单 峰 或 多 峰 分 布 的 估计 ， 而 且 只 要 样本 容量 足够 
大 ， 总 可 以 保证 以 任意 精度 收敛 于 任何 复杂 的 未 知 密度 加. 
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-一 3 阶 矩 左 偏 最 大 粒 分 布 





(a) 概率 密度 函数 左 侧 不 可 积 情况 (b) 概率 密度 澡 数 右 侧 不 可 积 情况 


图 1: 3MERAKARA AA 


3.1 密度 函数 核 估 计 基 本 原理 
B K(u) 为 尺 上 的 一 个 给 定 的 概率 密度 函数 ， 则 


ml) =Y alir (ERA) (5) 


HC BAKE pz) 的 一 个 核 估计 图 ， 天 (w) DARM CARR), n E EGRE. h > 
0 为 窗帘 ，ou 是 每 个 核 函 数 的 权重 B29,， 且 0 < ai <l, Šol i22 ,n 
HAREM K (u) 为 概率 密度 函数 ， 则 满足 : 
1) K(u) 20, a 三 K (u)du — 1, 
显然 ， 在 KK(w) > 0 的 限制 下 ， 自 然 能 保证 p(z) 的 非 负 性 ， 而 且 可 以 证 明 





1) pn(z) 之 0， 2) E pa(z)dz = 1, 


这 就 证 明了 pn,(z) 是 一 个 合理 的 概率 密度 函数 ， 满 足 了 作为 总 体 密度 p(z) 估计 的 基本 条 件 图 . 
3.0 ”基于 密度 核 估 计 的 最 大 焙 方 法 
根据 最 大 粹 方法 的 思想 ， 将 核 估计 概率 密度 函数 pn(z) RERA RRI BL fei ERRERA RT 


态 ， 则 
H(pn) = -f Dali KE) (Yer E) (8) 
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令 pn(z) 的 信息 粹 达到 景 大 ， 则 优化 问题 为 
max H(pn) 
A i», d = Mi, CIVAL , 
s.t /zp (x) dz i m 


其 中 Mi ARiNERAEKE, m 为 最 高 阶 矩 的 阶 数 . 

本 文 将 这 样 构造 的 最 大 炉 方 法 称 为 密度 核 估计 最 大 炉 方 法 KDE-MEM (Kernel Density 
Estimate-Maximum Entropy Method). 由 于 概率 密度 函数 pn(z) 的 性 质 ， 保 证 了 目标 函数 在 
积分 域 上 的 收敛 性 ， 解 决 了 函数 不 严格 可 积 的 问题 . 

KDE-MEM 方 法 需求 解 的 问题 是 约束 非 线性 最 优化 问题 ， 这 可 以 选择 序列 二 次 规划 
法 (SQP)010， 其 优化 计算 过 程 可 以 通过 Matlab 优化 工具 箱 编程 实现 ， 计 算 中 有 两 点 需要 
注意 : 

1) 为 了 用 数值 方法 计算 出 (8) 式 的 积分 ， 必 须 设置 所 求 积分 函数 的 上 下 界 ， 一 般 可 由 样本 
分 散 范围 确定 ; 

2) ”理论 上 核 函 数 个 数 n 取 值 越 大 ， 密 度 函 数 副 近 效 果 越 好 . 但 同时 的 取 值 越 大 ， 算 法 复 
杂 度 也 越 高 . 


4 数值 算 例 


为 了 验证 密度 核 估 计 最 大 焙 方 法 的 有 效 性 ， 以 下 以 两 种 典型 分 布 为 总 体 进 行 抽样 ， 使 用 密 
度 核 估计 最 大 米 方法 进行 分 布 估计 ， 并 将 验证 结果 与 经 典 最 大 炉 方 法 进行 对 比分 析 . 
4.4 对 数 正 态 分 布 


1 (ns-py 
PLN(x) 一: 2c 


$ 
270r 


其 中 z >0, -oo <h<o%,o>0. 

Hu — 0.5, o = 0.25， 通 过 计算 机 从 对 数 正 态 分 布 工 N(0.5,0.25) 中 抽样 ， 样 本 容量 为 200， 
具体 数据 从 略 ， 根 据 这 些 数 据 计 算 其 前 4 阶 样本 原点 矩 为 Mi = 1.6975, Mz = 3.0686, M3 = 
5.8923, M4 = 11.999. 

48 Fl 9 BE VE BC ZI 3 ES XXE EG BER K (u) = Se 则 总 体 密 度 函 数 的 
核 估计 为 


n 1 _ (nz-pi)? 
| 
i 


为 了 保证 在 优化 过 程 中 ，1 > au > 0, i=1,2 ,n， 且 六 os = 1， 可 以 作 如 下 变换 
i—1 


exp Pi 
n 》 
>， exp Bi 


i=1 


EFA € R， 这 样 既 满 足 了 oi 的 条 件 ， 也 使 得 优化 参数 的 取 值 空间 变 为 实数 空间 ， 更 利于 计 


i = 
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BE. 所 以 总 体 密度 函数 pzw(z) 的 核 估计 变换 为 





一 A 2 
-| 
270i 


n 
i=1 V7 exp fli 
i=l 


Hin = 3， 则 pn(z) 共 包含 9 个 参数 ， 积 分 区 间 选 取 [0,4， 其 各 参数 优化 的 结果 见 表 1， 和 残 
差 平方 和 丸 = 3.727 x 1072. 经 典 最 大 焙 方 法 的 参数 优化 结果 见 表 2， 残 差 平方 和 尽 = 
8.4217 x 1073. 

表 1: SEGEASZURCT 8LRMRABE EI A AARAL R 


参数 pa al bı ua 02 Ba Ha 83 bs 
优化 结果 2.1304 0.4331 3.7402 1.5519 0.3227 4.7991 2.2919 0.1084  -6.2164 





表 2: 对 数 正 态 分 布下 经 典 最 大 炉 方 法 参数 优化 结果 


参数 Ào à 入 2 Àa 入 4 
优化 结果 -7.9023 6.1686 2.7374 -3.0452 0.5351 





根据 这 些 参数 值 ， 可 以 给 出 密度 核 估 计 最 大 粹 方法 得 到 的 密度 函数 与 LN(0.5,0.25) 理论 分 
布 的 图 像 ， 并 与 经 典 最 大 箭 密度 函数 进行 对 比 ， 见 图 2， 通过 观察 图 像 可 以 看 出 ， 经 典 最 大 入 
方法 的 计算 结果 在 右 侧 拖 尾 处 出 现 不 可 积 情况 . 而 最 大 粹 密度 核 估计 分 布 与 理论 分 布 更 为 接 
近 ， 且 满足 概率 密度 函数 基本 性 质 . 





12 T- T T T T T— 





- ©-  lognpdf( 0.5 , 0.25 ) pdf 
Hs o = KDE-MEM pdf ] 
N/ * = om © MEM pdf 

















图 2: 对 数 正 态 密度 函数 及 其 估计 函数 图 比较 


4.2 Weibull 分 布 

Weibull 分 布 的 概率 密度 函数 为 pw(z) = ba-*zb71e- (^, Hz > 0, a > 0, 5 > 0. 

取 a = 3, b = 6， 通 过 计算 机 从 分 布 Weibull (3, 6) 中 抽样 ， 样 本 容量 为 200， 根 据 这 些 数 
据 计 算 其 前 4 阶 样本 原点 矩 为 Mi = 2.7830, Mz = 8.0352, M3 = 23.9185, Ma = 73.0769. 3E 
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度 核 估计 最 大 焙 方 法 仍 选 定 正 态 窗 函 数 ， 取 ? = 3， 积 分 区 间 选 取 [0,5]， 其 各 参数 优化 的 结 
果 见 表 3， 残 差 平 方 和 民 = 6.352 x 10-10. 经 典 最 大 灶 方 法 的 参数 优化 结果 见 表 4， 残 差 平方 
M R = 2.45 x 1077. 

[RH RT ELE HAE E Lf RAKAT 12548. UB R BRE ERI C5 Weibull (3,6) 理论 分 布 的 图 像 ， 并 
E £5 lt E dia REPRGRETIONE EG, RAR. XEXDULEE PRA RTEUEIB, SERERE VERRCAOBIZI 
法 分 布 与 理论 分 布 更 为 接近 . 


表 3: Weibull DA F 2: E Bui X82 cod 


参数 pı al B H2 02 Ba Ha 03 Bs 
优化 结果 3.0898 0.3687 3.5927 2.5988 0.5360 4.0963 44.5937 60.1679 -15.5288 








表 4: Weibull 分 布下 经 典 最 大 炉 方 法 参数 优化 结果 





参数 Ao 和 1 入 2 Aa 入 4 
优化 结果 -3.3580 7.8318 0.0408 -2.5650 -2.2412 












= ©- - Weibull( 3 , 6 ) pdf 
07| | == KDE-MEM pdf 
(nce = MEM pdf 

















图 3: Weibull 密度 函数 及 其 估计 函数 图 


5 ”实例 


器 件 MKJ911 (FPGA) 和 28C256 (E2?PROMD) 在 受到 7 辐射 时 失效 样本 容量 分 别 为 6 和 5. 
实验 结果 表明 ， 这 两 种 器 件 的 失效 规律 一 般 遵循 对 数 正 态 分 布 ， 根 据 失 效 样本 不 难 估计 出 对 数 
正 态 失效 分 布 的 参数 和 oc， 见 表 5. 


表 5: 两 种 器 件 失效 分 布 的 参数 估计 


器 件 u c? 
MKJ911 6.443 0.01997 
28C256 5.792 0.002115 


第 3 期 刘 钰 ， 等 : PETE A RAKA E 291 


同时 根据 失效 样本 ， 使 用 本 文 方法 可 以 得 到 器 件 的 KDE-MEM 失效 分 布 估计 . 将 两 种 失效 
分 布 进行 对 比 ， 如 图 4 所 示 . 

观察 图 4 可 以 发 现 ， 在 不 加 入 任何 主观 信息 的 情况 下 ， 器 件 的 最 大 炉 分 布 估计 基本 能 够 符 
合 其 失效 规律 .基于 失效 分 布 可 以 估计 其 失效 阐 值 及 方差 ， 将 两 种 失效 分 布下 估计 得 到 的 失效 
阐 值 及 方差 进行 比较 ， 结 果 见 表 6. 








5 T T — T Y Tr 
— 6 — LogNorm pdf — 8 ~ LogNorm pdf 
4.54 — MEM pdf — MEM pdf 
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(a) MKJ911 (FPGA) (b) 28C256 (EJPROM) 


图 4: 两 种 器 件 的 对 数 正 态 及 KDE-MEM 失效 分 布 


46: 两 种 器 件 的 失效 阐 值 及 方差 估计 


n" A 3I /Gy (Si) 方差 /Gy (Si) 
EUG E ”对 数 正 态 失效 分 布 ”最 大 灶 失 效 分 布 ”对 数 正 态 失效 分 布 
MKJ911 633.147 633.333 83.373 89.592 
28C256 327.767 327.800 14.230 15.353 


6 ”讨论 与 分 析 


上 节 中 的 算 例 验 证 了 密度 核 估计 最 硕 方法 的 有 效 性 .我们 可 将 两 种 方法 对 比分 析 的 结果 
总 结 如 下 : 

1) 核 估计 pn(z) 本 身 满足 密度 函数 的 基本 性 质 ， 优 化 结果 不 存在 不 可 积 的 情况 ， 不 需要 进 
行 截断 就 可 以 直接 使 用 ; 

2) 在 给 定 样本 和 矩 情况 下 ， 仅 使 用 3 个 核 函数 的 核 估计 ， 优 化 结果 已 经 具有 较 高 的 精度 ， 可 
以 根据 需要 ， 通 过 增加 核 函数 的 数量 来 进一步 提高 计算 精度 . 

本 文通 过 改进 经 典 最 大 灶 方 法 ， 得 到 了 满足 密度 函数 基本 性 质 的 计算 结果 ， 使 最 大 粹 方法 
的 适用 性 得 到 了 进一步 提高 . 
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Abstract: For the measurement data with unknown probability distribution, it has been proved that 
the probability distribution determined by the maximum entropy method (MEM) is a reasonable distri- 
bution with the least assumption. But the result of MEM is not always consistent with the properties 
of a probability density, the resulting truncation and normalization of the result would reduce the ac- 
curacy of MEM. A new method based on the maximum entropy principle which combines with kernel 
density estimate of a probability density is proposed. The estimate given by the new method is totally 
consistent with the properties of a probability density. The validity and accuracy of the new method 
are illustrated through examples. 
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